Boiling Mind: Amplifying the Audience-Performer Connection through Sonification and Visualization of Heart and Electrodermal Activities

プロジェクトページ

https://youtu.be/nTQeedSZU20

In stage performances, an invisible wall in front of the stage often weakens the connections between the audience and performers. To amplify this performative connection, we present the concept ”Boiling Mind”. Our design concept is based on streaming sensor data related to heart and electrodermal activities from audience members and integrating this data into staging elements, such as visual projections, music, and lighting. Thus, the internal states of the audience directly influence the staging. Artists can have a more direct perception of the inner reactions of audience members and can create physical expressions in response to them. In this paper, we present the wearable sensing system as well as design considerations of mapping heart and electrodermal activity to changes in the staging elements. We evaluated our design and setup over three live performances.

舞台パフォーマンスでは、ステージの前にある見えない壁が、観客とパフォーマーのつながりを弱めてしまうことがよくあります。そこで、私たちは「Boiling Mind」というコンセプトを提案します。このコンセプトは、観客の心臓や皮膚の活動に関するセンサーデータをストリーミングし、ビジュアルプロジェクション、音楽、照明などの演出要素に統合することで実現しています。これにより、観客の体内状態が直接演出に影響を与えることができます。アーティストは、観客の内面的な反応をより直接的に把握することができ、それに応じた身体表現を行うことができます。この論文では，ウェアラブル・センシング・システムを紹介するとともに，心臓や皮膚電気の活動を演出要素の変化にマッピングするための設計上の検討事項を示しています。また，3つのライブ・パフォーマンスにおいて，我々のデザインとセットアップを評価しました。